Ông bắt đầu sáng tác với bài hát "Tâm hồn anh tìm em" vào năm 1936, với nét nhạc được nhận xét là chịu ảnh hưởng khiêu vũ Tây phương.[12] Ngay từ những sáng tác đầu tiên, ông đã có chủ trương viết những bài nhạc Tây theo điệu ta.[13] Những bài hát của ông về sau có những bài mang âm hưởng nhạc cổ truyền, như "Tiếng xưa", "Thề non nước" (phổ thơ Tản Đà), "Đêm tàn Bến Ngự",...

Năm 1953, ông phổ thơ "Màu cây trong khói" của Hồ Dzếnh thành bài "Chiều", gây được tiếng vang lớn.[8] Một số bài hát được vợ sau của ông, ca sĩ Minh Trang viết lời như "Bóng chiều xưa",[8] "Ôi quê xưa", "Mơ tiên",...

Năm 1954, ông vào Sài Gòn, phụ trách ban nhạc "Cổ kim hòa điệu" trên làn sóng điện Đài phát thanh Sài Gòn và dạy tại trường Trường Quốc gia Âm nhạc và Kịch nghệ.[8] Thời điểm này, ông vẫn sáng tác một số bài hát mới như "Bạn cùng tôi", "Đêm ngắn tình dài", "Thiết tha vài lời" do một số nhà xuất bản âm nhạc tại Sài Gòn phát hành và xuất bản. Sang thập niên 1960, ông ít sáng tác hơn trước.

Ông sáng tác hơn 200 bài nhạc, trong đó có những bài phổ biến cho đến bây giờ, như "Ngọc lan",[8][14] "Tiếng xưa", "Chiều", "Đêm tàn Bến Ngự",... và được ấn hành khá nhiều lần. Ngoài những bài nhạc tình, ông còn viết những bài hùng ca và viết những bài nhạc cho thiếu nhi, như bài "Uống nước nhớ nguồn" được ông viết chung với Hùng Lân.[8] Riêng bài "Ơn nghĩa sinh thành" của ông được hát nhiều trong ngày lễ Vu Lan.[15]

Những nhạc phẩm của ông được nhiều ca sĩ trình bày, như Thanh Thúy,[16] Minh Trang, Mai Hương,[17] Quỳnh Giao,... Sau năm 1975, một số nhạc phẩm của ông được ca sĩ Ánh Tuyết,[18] Quỳnh Hoa,[19]... trình bày.

Sau năm 1975, các sáng tác của ông đều bị cấm ở trong nước và ông cũng không viết nhạc nữa. Mãi sau này, khi có chính sách Đổi Mới, một số nhạc phẩm của ông đã được lưu hành trở lại.[20]